1 引言
人工神经网络zui重要的功能之一是分类。对于线性可分问题，采用硬限幅函数的单个神经元，通过简单的学习算法就可成功实现分类。即对于两个不同类中的输入矢量，神经元的输出值为0或1。但对于大多数非线性可分类，硬限幅神经元则无法完成分类功能。自适应线性元件Adaline（Adap-tive LiIlear Element）是一种具有线性功能函数的神绎元，在实际输出与理想预期值的zui小二乘LMS（Least Mean Square）的统计意义下进行学习，可以实现zui佳的非线性可分集合的分类，即按照zui小二乘的统计意义要求，实际输出值与理想预期值之间的误差均方值为zui小，能够实现这一目的算法即称为zui小二乘学习算法或LMS算法。
2 Adaline的LMS算法原理
设输入矢量X=[x1，x2，…，xn]，加权矢量W=[ω1，ω2，…，ωn]，则神经元的输出为：
定义ε（k）是理想输出值d（k）与实际输出值y（k）之间的误差，即ε（k）=d（k）-y（k），其均方值记作E[ε2（k）]，令ζ（k）=E[ε2（k）]，则：
由式（2）可知必定存在zui佳的加权矢量W*，使ζ（k）达到zui小，此时ζ（k）相对于W的梯度等于零，从而可以得到：
式（3）虽然给出了求zui佳加权矢量的方法，但需要大量的统计计算，而且当输入矢量X的维数很大时，需要解决高阶矩阵求逆问题，这些在数学计算上都是非常闲难的。
3 随机逼近LMS学习算法的提出
为了解决式（3）存在的问题，有学者提出LMS学习问题的严格递推算法和随机逼近算法，这里简要描述其算法原理。LMS学习问题的严格递推算法是在任意设置初始加权矢量W（0）时，对于每一个时序变量k，对W调整：
用这种方法可以保证求得严格的zui佳解，而且避开矩阵求逆。但学习过程的每一步仍需大量的统计计算，仍需解决统计计算困难。
LMS学习问题的随机逼近算法则将权值调整公式修正为下列形式：
该方法与前一算法区别在于：用ε（k）X（k）代替E[ε（k）X（k）]，从而避免统计计算的困难，但同时使加权矢量的变化趋向随机性；步幅α变成一个随时序k变化的量，可以证明，当α（k）满足以下条件时，学习是收敛的：α（k）是时序k∞ ∞
的非增函数；
在这样k=0 k=0的条件下，W（k）随着k增大而趋向W*的概率为1。
4 随机逼近LMS算法仿真
按以下步骤对随机逼近算法编制程序进行仿真：
（1）对图1所示的正弦波和三角波分别进行64点均匀采样，组成64维输入样本矢量。
（2）W（0）选择服从（0，1）之间均匀分布的随机矢量，初始步长参数α选为0．03，选定误差的平方临界值ε02（k）=10-5，将X0，X1交替重复地送入采用线性函数的神经元，反复训练，直至ε2（k）≤ε02（k），这样可以得到误差平方和学习次数之间的关系，如图2所示。
从图2中可以看出．当α=0．03时，学习是收敛的，学习次数k=1 147，学习完成时ε（k）=3．2x10-3，其平方小于所确定的ε02（k）。把X0，X1重新送入神经元，计算后得到实际输出值Y0=0．003 9，Y1=0．999 9，这和预期输出值相当接近，从而较好完成了X0，X1的分类。
（3）设置不同的步幅α，分别计算并绘制ε2（k）变化曲线，观察ε2（k）的收敛性、收敛速度与α的关系，试验结果如图3所示。从图3中可以看出，当α 很小时，学习收敛，学习速度很慢，且收敛的稳定性较好；当α增大，学习仍保持收敛，但学习速度加快，同时稳定性降低；当α=0．08时，学习已不再收敛。
（4）仿真正确性和抗噪性。产生一系列加噪的正弦波和三角波作为输入矢量，所叠加的噪声服从正态分布N（0，σ2）。规定Pn为正确识别X0的概率，P1 为正确识别X1的概率，ERR为输出错误的个数（总样本：1 000），通过检测可得表1。由表1可看出，当噪声的方差σ2较小时，使用随机逼近算法的Adaline神经元几乎可以无误地识别输入矢量；但当噪声方差逐步加大时，错判的概率也随之加大。而在学习收敛的条件下，步幅α对神经元输出的正确性几乎没有影响。图4是总样本为200时，固定α=0．03．当α2 =3x10-3时的分类结果示意图。
5 仿真结果和分析
首先对两种波形进行64点采样，再利用随机逼近算法对两种波形进行分类，这也相当于一个64 维空间中两个点的分类问题。仿真结果表明：对于不同的初始步幅α，神经元完成学习任务的训练时间不同；在保证学习收敛性的前提下，α越大，收敛速度越快，但收敛的稳定性变差。权矢量的初始值W（0）对学习的收敛性没有影响。zui后，对神经元的学习结果进行检验，检验结果验证了经学习训练后，神经元分类的正确性及抗噪性。从网络的原理可看出，在随机逼近算法中，若α（k）是时序k的非增函数，且有
学习是收敛的。但本仿真中均采用恒定步幅值α，这样只有在α的值比较小的情况下，才能保证学习收敛。为了改进算法，可采用时变的步幅α（k）=1/pk+q，则既满足步幅因子收敛的条件，又保证步幅因子在学习开始时较大，而随着学习的进行逐渐减小。
